admin/switch: New builtin to switch between trees

This is something I want to make easier, as it better showcases the
flexibility of OSTree.

Squash some harmless compiler warnings

None of these AFAICS actually can occur, but let's silence gcc.

libotutil: Fix a possible uninitialized free() in error path

Spotted by gcc.

packaging: Update infrastructure

The Makefile.dist-packaging lives canonically in rpm-ostree/ for now,
it's my latest hack to automate git -> (s)rpm.

Update the spec.in from current Fedora.

commit: Reject non-regular/non-symlinks earlier with better error message

Also avoid _NOT_SUPPORTED as that triggers the --help behavior from
the commandline; just use _FAILED.

https://bugzilla.gnome.org/show_bug.cgi?id=722410

deploy: Rework kernel arguments, add --karg-append to "admin deploy"

The "ordered hash" code was really just for kernel arguments.  And it
turns out it needs to be a multihash (for e.g. multiple console=
arguments).

So turn the OstreeOrderedHash into OstreeKernelArgs, and move the bits
to split key=value and such into there.

Now we're not making this public API yet - the public OstreeSysroot
just takes char **kargs.  To facilitate code reuse between ostree/ and
libostree/, make it a noinst libtool library.  It'll be duplicated in
the binary and library, but that's OK for now.  We can investigate
making OstreeKernelArgs public later.

https://bugzilla.gnome.org/show_bug.cgi?id=721136

COPYING: Update to latest FSF with current address

Hooray for rpmlint.

Unify uboot and syslinux test cases

The test-admin-deploy-1 was copied into -uboot at some point.  But
really they should be testing exactly the same thing, except for
the bootloader backend.

Unify these tests by extracting a common test core.

Update libgsystem

This has a GsConsole fix.

admin: Add --karg-proc-cmdline argument

When installing a new tree inside an existing OS, this is a convenient
way to include the command line arguments one needs (such as root=).

deploy: Write bootloader config even if just kernel arguments changed

The official way to add bootloader arguments to the current deployment
is to redeploy with --karg.  However, doing so tripped up an
optimization made inside the deployment code to just swap the
bootlinks if we're keeping the same "bootcsum".

Change this optimization to look at the pair of (bootcsum, options).

build: Don't use += for ACLOCAL_AMFLAGS

It confuses the autotools.

pull: Ensure we begin a status line

Otherwise if the operation completes before anything happens, we hit
an assertion trying to end a status line when we didn't begin one.

sysroot: Error out on deploy --os=<unknown> which has not been initialized

We should hard require "ostree admin os-init foo" before letting
deployments go there; it's too easy to typo the argument.

Makefile-decls.am: Some minor fixes from hotssh

build: Add Makefile-decls.am

I'll be sharing this across more of my projects.

Remove 'write-refs' builtin

See https://bugzilla.gnome.org/show_bug.cgi?id=705979

This was just a performance hack for gnome-continuous back before it
used libostree via g-i.

ostree/remote-add: Add --no-gpg-verify option

To more conveniently disable GPG verification.

repo: Introspect _sign_commit() and _verify_commit()

We can't use #ifdef in the headers, since then g-ir-scanner won't pick
up the functions (unless we included config.h).  Let's instead always
have the symbols, but just set an error if we were built without
support for it, just like how pull works.

prune: Remove redundant 'bytes' in format string

repo: Provide a friendlier error message if no signatures are found

I always forget the key to disable it...

repo-pull: Remove leftover unused %s

core: Set mtime of content objects to 0

This is necessary to satisfy tools such as guile and python, which
compare mtimes to determine whether or not source files need to be
compiled.

https://bugzilla.gnome.org/show_bug.cgi?id=720363

TODO: Add a few items

Update libgsystem

Move xattr handling into libgsystem, fix sysroot to handle directory ownership/perms

This large patch moves the core xattr logic down into libgsystem,
which allows the gs_shutil_cp_a() API to copy them.  In turn, this
allows us to just use that API instead of rolling our own recursive
copy here.

As noted in the new comment though, one case that we are explicitly
regressing is where the new /etc removes a parent directory that's
needed by a modified file.  This seems unlikely for most vendors now,
but let's do that as a separate bug.

https://bugzilla.gnome.org/show_bug.cgi?id=711058

ostree-remount.service: Run before systemd-random-seed.service

It's essential that we've mounted /var read-write in order for
random-seed.service to work.

fetcher: Display incremental download progress

Previously the progress meter would bump in large chunks after we
completed a download.  Instead, poll in progress files via fstat() for
their size, and add those to the running total.

Update libgsystem

For https://bugzilla.gnome.org/show_bug.cgi?id=711057

main: Treat default osname more consistently

The libostree already treats passing NULL for osname as "booted
osname, if any".  We should do the same inside the tools.  The upgrade
builtin had this logic duplicated there; we should be able to safely
remove it.

https://bugzilla.gnome.org/show_bug.cgi?id=710970

Fix crash when deploying with implicit os name

When booted into an ostree you can deploy without passing
an --os option. That was crashing though, because
ot_admin_complete_deploy_one is called with NULL
osname but it was not handling it properly.

https://bugzilla.gnome.org/show_bug.cgi?id=710970

main/remote: Add a show-url operation to the remote command

Useful to get the remote url in scripts.

https://bugzilla.gnome.org/show_bug.cgi?id=710967

libostree: Remove extra : in comment

g-ir-scanner handles this, but it stuck out.

libostree: Squash a compiler warning

libostree: Squash two g-ir-scanner warnings

Add support for mkinitcpio

https://bugzilla.gnome.org/show_bug.cgi?id=710682

Add OstreeAsyncProgress, use it for ostree_repo_pull

Several APIs in libostree were moved there from the commandline code,
and have hardcoded g_print() for progress and notifications.  This
isn't useful for people who want to write PackageKit backends, custom
GUIs and the like.

From what I can tell, there isn't really a winning precedent in GLib
for progress notifications.

PackageKit has the model where the source has GObject properties that
change as async ops execute, which isn't bad...but I'd like something
a bit more general where say you can have multiple outstanding async
ops and sensibly track their state.

So, OstreeAsyncProgress is basically a threadsafe property bag with a
change notification signal.

Use this new API to move the GSConsole usage (i.e. g_print()) out from
libostree/ and into ostree/.

Update libgsystem

Just to test the new code.

core: Add size information to commit metadata

Add a --generate-sizes option to commit to add size information to the
commit metadata.  This will be used by higher level code which wants
to determine the total size necessary for downloading.

Release 2013.7

repo: Remove set-but-unused variable

The gpgme examples use this, but from what I can tell we don't really
need to because we don't need detailed results; we only care whether
we signed it at all.

trivial: Add missing files to dist

trivial: Don't include config.h in headers

This should be included by each .c file.  This fixes using libostree
from a "plain" project without config.h.

sysroot: Handle deleting directories in /etc

We need to use the full shutil_rm_rf() in order to actually delete
complete directories.

Test suite code based on a patch from Sjoerd Simons <sjored@luon.net>

https://bugzilla.gnome.org/show_bug.cgi?id=710097

core: Add code to read/write "varints"

Adapted from Google protobufs.  For several cases, we want to support
e.g. file sizes up to guint64, but paying the cost of 8 bytes for each
number is too high.

This will be used for static deltas and sizes metadata.

build: Also make gjs-based tests conditional on introspection support

Since they use imports.gi.OSTree.

Update libgsystem

libostree: Fix an introspection scanner warning

repo: Tweak traversal API

It's convenient for bindings if we have a version that doesn't mutate
the hash table, because they pass temporary hash tables as input.

tests: Extend test-sysroot.js further

Now covers a lot more of the API.

sysroot: Move ostree_sysroot_origin_new_from_refspec here

Rather than having it live in admin.  This is useful for other
consumers like the test suite.

sysroot: Ensure we create /boot/loader.%d/entries even if there are no deployments

Not doing so breaks things, and we should support this.

sysroot: Avoid bad double-free

If a deployment is somehow in the list twice, the hash table will free
the *new* value with g_hash_table_insert which gets all broken.  Just
use g_hash_table_replace().

sysroot: Update some annotations

We were double-freeing before.

sysroot: Support more arbitrary deployment changes

This commit changes the sysroot API so that one can create arbitrary
new deployment checkouts, then commit them as one step.  This is to
enable things like an automatic bisection tool which say create 50
deployments at once, then when done clean them up.

This also moves some printfs from the library into src/ostree.

tests: Add a simple test-sysroot.js that covers OSTree.Sysroot

This will be more interesting as a test case user of the API.

repo: Only delete temp files older than a day

This is somewhat lame, but to do better we need a reliable
multiprocess synchronization mechanism.

https://bugzilla.gnome.org/show_bug.cgi?id=709115

repo: Enumerate objects using openat() too, make more efficient

This drops several calls to malloc()/g_object_new() per object
enumeration.  Just a followup to using openat() and friends in other
places.

core: Make ostree_get_relative_object_path() private

I plan to rename all of these APIs to use the term 'loose', so that it
makes more sense after pack files are introduced.  External users
should not use them; instead use _load_variant() or _read_commit().

pull: Verify commits with gpg signatures from detached metadata

This uses gpgv for verification against DATADIR/ostree/pubring.gpg by
default.  The keyring can be overridden by specifying OSTREE_GPG_HOME.

Add a unit test for commit signing with gpg key and verifying on pull;
to implement this we ship a test GPG key generated with no password
for Ostree Tester <test@test.com>.

Change all of the existing tests to disable GPG verification.

commit: Store detached metadata in normal form

Otherwise corrupted variants may crash us.

core: Use libgpgme to add GPG signatures to detached metadata for commit object

Add an optional dependency on gpgme to add GPG signatures into the
detached metadata, with the key "ostree.gpgsigs", as an "aay", an
array of signatures (treated as binary data).

The commit command gains a --gpg-sign=<key-id> argument.  Also add an
argument --gpg-homedir to set the GPG homedir where we look for
keyrings.

remote-add: Add --set=KEY=VALUE option

This can be used to add a remote and set e.g. tls-permissive=true, or
gpgverify=false.

show: Handle keys of any type, and set an error if key doesn't exist

Previously we were just handling strings, and silently doing nothing
if the key didn't exist, which is pretty broken.

repo-pull: Allocate with g_new0 rather than g_new.

Conflicts:

src/libostree/ostree-repo-pull.c

pull: Also fetch detached commitmeta files

These will contain GPG signatures and the like in the future, so we
should fetch them now.

repo: When adding detached metadata, ensure the objdir exists

We may be creating the commitmeta file before the commit, so we need
to call mkdir(<first two checksum characters>) here too.

show: Print an error message if commit doesn't have detached metadata

...instead of segfaulting.

fetcher: Fix previous commit

I was getting hangs in the test suite, and looking at the previous
commit, we were calling the async completion functions out of the
finalizer for the URI, which is weird.  I didn't analyze what's going
wrong, but what we really should be doing is processing our internal
queue after we've downloaded a file, and the request is about to be
finalized.

I suspect doing queue management from the finalizer created a circular
reference type situation.

This patch deduplicates the queue processing bits too.

https://bugzilla.gnome.org/show_bug.cgi?id=708126

fetcher: Add a queue to limit requests sent to soup

On a large ostree repository pulling over http slows to a crawl. Pulling
from localhost results in:
 5944 metadata, 63734 content objects fetched; 850509 KiB transferred in
 1106 seconds
In other words about 800KiB/s. Some profiling shows that essentially
all of the CPU goes into libsoup doing its request bookkeeping instead
of into the actual downloading.

Adding a simple queue to limit to number of active request sent into
libsoup makes for a dramatic improvement:
 5944 metadata, 63734 content objects fetched; 850509 KiB transferred
 in 89 seconds
So around 9450 KiB/s.

https://bugzilla.gnome.org/show_bug.cgi?id=708126

tests: Add u-boot

It needs to be installed so it'll be run by the InstalledTests scheme.

tests: Fix U-Boot test case

commit 08b873457 ("deploy: Remove checksum from generated loader entries")
changed the generated loader entries file names thus making the U-Boot test
case to fail since this test parsed those files.

Fix test-admin-deploy-uboot.sh by looking to the updated files names.

https://bugzilla.gnome.org/show_bug.cgi?id=708511

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>

libostree: Document and annotate some methods to quash g-ir-scanner warnings

Since warnings are bad.  Introspection is good.

libostree: Remove private header file from ostree.h

Was breaking pkgsys-ostree.

upgrade: Don't segfault if there's no previous deployment

Obviously.

deploy: Correctly swap bootloader version with new boot checksums

If we had two deployments with different boot checksums, and were
trying to remove the one that was the same and add a new one (the
normal case), we'd end up assuming due to comparison with 0 that
we only needed to do the fast subbootversion swap.

Fix this by actually putting 1 where we really mean 1.

And update the tests to verify the fix; I have double-verified by
undoing the fix, and noting that the test fails.

https://bugzilla.gnome.org/show_bug.cgi?id=708351

deploy: Remove checksum from generated loader entries

The actual deployment checksum shouldn't be in there, because we may
just swap bootlinks, rendering the name of the old bootloader entry
file invalid.  Thankfully nothing actually parsed the names of these
files, so let's just use the index.

deploy: Do a full system sync after writing bootloader config

This is just something I noticed on inspection; we should catch any
changes to /boot in the sync(), even though theoretically gio should
have done fdatasync().

deploy: Only query bootloader if we have to make a loader change

This will also help distinguish in the output when we're just swapping
bootlinks versus when we need to change the loader config.

deploy: Some minor assertion and error message improvements

To help debug https://bugzilla.gnome.org/show_bug.cgi?id=708351

Plus run a status consistently in the tests.

libostree: Add API to write metadata as stream

And use it in pull-local.  The goal here is to kill users of
ostree_repo_load_variant(), and move a bit more towards hiding the
variants.

test-core.js: Add standard copyright header

Like everything else.

main: Print error: in red bold just for fun

It's easier to see.  Also drop old dead ot_main() function.

tests: Add a gjs-based test

This covers introspection, and in general is a much better way to get
API coverage tests.

sysroot: Look for booted deployment correctly

We need to look at the list we just gathered, not potentially NULL.

sysroot: Clean up API

Now that we have a real GObject for the sysroot, we have a convenient
place to keep track of 4 pieces of state:

* The current deployment list
* The current bootversion
* The current subbootversion
* The current booted deployment (if any)

Avoid requiring callers to pass all of this around and load it
piecemeal; instead the new thing is ostree_sysroot_load().

libostree: Use ostree_repo_create() rather than spawning subprocess

We have API now, yay!

doc: Add some more OstreeSysroot docs

libostree: Make OstreeBootloader private

It was only temporarily public while functionality was being merged
down; that's done now.

admin: Drop two uses of ostree_sysroot_get_path()

Moving towards it being a full library.

libostree: Nearly complete move of API into OstreeSysroot

Move the deployment code too.

libostree: Move a lot more sysroot API here

OstreeBootloader is temporarily public API.

libostree: Move sysroot initialization API here

Move Deployment and BootconfigParser into libostree

As part of moving admin functionality there.  While we are doing this,
rename OtConfigParser to OstreeBootConfig parser since it's a better
name.

libostree: Add new OstreeSysroot class

At the moment, just a container for a path, but we will start moving
admin functionality here.

admin: add U-Boot backend test case

OSTree now supports a backend for the U-Boot bootloader,
add a test case for this.

https://bugzilla.gnome.org/show_bug.cgi?id=708069

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>

tests: allow setup_os_repository to create U-Boot stub config

Currently OSTree supports two bootloader backends: syslinux
and U-Boot; allow to create a stub configuration for both.

https://bugzilla.gnome.org/show_bug.cgi?id=708069

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>

tests: don't create a syslinux stub unconditionally in libtest

libtest.sh has an setup_os_repository() helper function tha is
used by many tests to setup an OSTree initial repository.

This function creates an syslinux configuration unconditionally
but OSTree supports other bootloader backends besides syslinux.

So, is better to conditionally create a syslinux configuration
only when it is needed.

https://bugzilla.gnome.org/show_bug.cgi?id=708069

Signed-off-by: Javier Martinez Canillas <javier.martinez@collabora.co.uk>

checkout: Fix leak when doing uncompressed cache + copying checkouts

We were reading into "input" twice, leading a fd.  This was
breaking the gnome-continuous integrationtest.

pull: Drop usage of 2.36 symbol

Really need deprecation warnings while using RHEL6.4...maybe Software
Collections will save me.